Tuy làm đến Thượng thư nhưng ông vẫn luôn có ý muốn từ quan. Ông là một cư sĩ mộ đạo Phật, thường quấn khăn vải, mặc áo nâu và hay giao du với khách thiền lâm. Ông thường làm thơ, được người đương thời khen tặng nhưng nay đã thất lạc gần hết (do lịch sử). Đến nay ghi nhận còn lại được 4 bài thơ viết bằng chữ Hán.

Trong đó có 3 bài được chép trong Hoàng Việt thi tuyển do Bùi Huy Bích sưu tập, đó là:

Bài 1. Tặng Quảng Trí Thiền sư (Tặng Thiền sư Quảng Trí).

Bài 2. Vãn Quảng Trí Thiền sư (Viếng Thiền sư Quảng Trí).

Bài 3. Truy điệu Thiền sư Chân Không.

Cũng theo Hoàng Việt thi tuyển của Bùi Huy Bích thì Thiền sư Quảng Trí họ Nhan, năm thứ nhất niên hiệu Chương Thánh Gia Khánh (1059) sư từ bỏ thế tục đến tham vấn Thiền Lão ở Tiên Du. Nhờ một câu nói của Thầy, sư nhận được yếu chỉ, từ đó dốc sức vào thiền học. Về sau sư trụ trì chùa Quán Ðỉnh núi Không Lộ, kết bạn với tăng Minh Huệ, người đời cho là Hàn Sơn, Thập Ðắc tái thế. Công Bộ Thượng thư Ðoàn Văn Khâm làm bài thơ trên thương tiếc khi sư quy tịch (khoảng niên hiệu Quảng Hựu 1085-1091).

Và bài thứ 4 là Gửi Tĩnh-giới Thiền sư ở núi Bí-linh thuộc Nghệ-an được chép trong sách Kiến văn tiểu lục của Bảng nhãn Lê Quý Đôn.

Qua mấy bài thơ còn lại, có thể thấy Đoàn Văn Khâm là người đức hạnh cao, rất hâm mộ đạo Phật và cũng là nhà thơ xuất sắc đời bấy giờ.

Bài 1: Tặng Quảng Trí Thiền sư

Nguyên văn chữ Hán:

贈廣智禪師拄錫危峰擺六塵,默居幻夢問浮雲。殷勤無計參澄什，索絆簪纓在鷺群。

Phiên âm:

Tặng Quảng Trí Thiền sưTrụ tích nguy phong bãi lục trần(1),Mặc cư huyễn mộng vấn phù vân.Ân cần vô kế tham Trừng, Thập(2),Sách bạn trâm anh tại lộ quần(3).

Dịch nghĩa:

Tặng Thiền sư Quảng TríChống gậy Thiền trên núi cao, rũ sạch bụi trần,Lặng lẽ trong cảnh mộng ảo, chỉ hỏi áng mây trôi.Rất thiết tha nhưng không cách nào theo học được Trừng, Thập,Vì đã trót vướng trâm oanh trong bầy cò.

Bản dịch của Đoàn Trọng Hân:

Tặng Thiền sư Quảng TríChống gậy lên non, rũ bụi trần,Cô sầu mộng ảo, hỏi phù vân.Bao lần những muốn theo Trừng, Thập,Trót vướng trâm anh, nợ khách trần.

- Chú thích:

(1) lục trần: Danh từ nhà Phật, tức: sắc, thanh, hương, vị, xúc và pháp. Theo "Pháp giới thứ đệ" thì trần là dơ bẩn, có thể làm cho tâm linh người ta bị hoen ố, nên người tu hành cần phải bỏ hết lục trần.

(2) Trừng, Thập: Trừng, Thập tức là Phật Ðổ Trừng và Cưu Ma La Thập, hai vị sư nổi tiếng người Thiên Trúc đến Trung Quốc vào đời Hậu Tấn, thường du hành thuyết pháp, viết rất nhiều kinh Phật.

(3) lộ quần: Nghĩa đen là đàn cò. Giống cò này thường bay từng đàn, có hàng ngũ thứ tự, nên văn ngôn dùng danh từ này để tượng trưng triều thần sắp hàng ngũ đứng chầu vua.

Bài 2: Vãn Quảng Trí Thiền sư

Nguyên văn chữ Hán:

挽廣智禪師林巒白首遁京城,拂袖高山遠更馨。幾願淨巾趨丈席，忽聞遺履掩禪扃。齋庭幽鳥空啼月，墓塔誰人為作銘。道侶不須傷永別，院前山水是真形。

Phiên âm:

Vãn Quảng Trí Thiền sưLâm loan bạch(1) thủ độn kinh thành,Phất tụ cao sơn viễn cánh hinh.Kỷ nguyện tịnh cân xu trượng tịch,Hốt văn di lý(2) yểm thiền quynh.Trai đình(3) u điểu không đề nguyệt,Mộ tháp thuỳ nhân vị tác minh.Ðạo lữ bất tu thương vĩnh biệt,Viện tiền sơn thuỷ thị chân hình.

Dịch nghĩa:

Viếng Thiền sư Quảng TríXa lánh kinh thành, vào nơi rừng núi cho đến bạc đầu,Phất tay áo trên núi cao, càng xa càng ngát thơm.Ðã mấy lần (tôi) những muốn chít khăn tu hành đến hầu bên chiếu,(Thế mà nay) bỗng nghe nhà sư qua đời, cửa chùa đã khép kín.Trước sân chùa, tiếng chim khuya khắc khoải kêu dưới bóng trăng.Có ai vì người mà đề bài minh vào ngọn tháp trên mộ?Các bạn tu hành chớ nên đau thương về nỗi vĩnh biệt,Sông núi trước chùa, chính là hình ảnh chân thực của người.

Dựa theo Bản dịch của Nguyễn Tấn Hưng:

Viếng Thiền sư Quảng TríRừng sâu đầu bạc lánh kinh thành,Rũ áo về non, thơm ngát danh.Những ước sửa khăn, hầu cửa Phật,Thoắt nghe tin báo, mộng hồn kinh.Sân chùa chim tối, kêu vầng nguyệt,Mộ tháp ai người viết bức minh?Ðạo hữu can chi buồn vĩnh biệt,Chùa xưa non nước hiện chân hình.

- Chú thích:

(1) bạch: Bản của Lê Quý Đôn chép là chữ "hồi", ở đây chép theo "Hoàng Việt thi tuyển".

(2) di lý: Trút dép, dùng điển trong "Truyền đăng lục": nhà sư Đạt Ma tịch, táng ở chân núi Hùng Nhĩ, khi Tống Vân đi sứ Tây Vực, lại gặp nhà sư cầm một chiếc dép nói là đi sang Tây Trúc. Tống Vân về, sai người đào mộ và mở áo quan ra, thì chỉ thấy có một chiếc dép còn lại trong quan. Ở đây dùng điển này để nói về nhà sư Quảng Trí mất.

(3) đình: Bản trong "Hoàng Việt thi tuyển" chép là chữ đường, ở đây theo bản của Lê Quý Đôn.

Bài 3: Truy điệu Chân Không Thiền sư

Nguyên văn chữ Hán:

追悼真空禪師行高朝野振清風，錫拄如雲暮習龍。仁宇忽驚崩惠棟，道林常嘆偃冥松。墳縈碧草添新塔，水蘸青山認舊容。寂寂禪關誰更叩？經過愁聽暮天鐘。

Phiên âm:

Truy điệu Chân Không Thiền sưHạnh cao triều dã chấn thanh phong,Tích trụ như vân mộ tập long (1).Nhân vũ hốt kinh băng tuệ đống,Đạo lâm trường thán yển minh tùng (2).Phần oanh bích thảo thiêm tân tháp,Thuỷ trám thanh sơn nhận cựu dung.Tịch tịch thiền quan thuỳ cánh khấu?Kinh qua sầu thính mộ thiên chung.

Dựa theo bản dịch của Hòa thượng Thanh Từ:

Truy điệu Thiền sư Chân KhôngTrong triều ngoài nội, kính gia phong,Chống gậy, đường mây quyện bóng rồng.Nhân, Từ chợt hoảng rường cột đổ,Rừng đạo bùi ngùi cội thông long.Cỏ biếc bên mồ, thêm tháp mới,Non xanh nước thắm, gởi thân trong.Tịch mịch cửa thiền, ai kẻ gõ,Chiều buông, văng vẳng tiếng chuông hồn.

- Chú thích:

(1) Tích trụ như vân mộ tập long: Câu này ý nói các đạo hữu kính mến phẩm hạnh đạo đức sư Chân Không, nên mang tích trượng đến núi Phả Lại sum họp đông đúc, không khác gì rồng đi đến đâu mây theo đến đấy.

(2) minh tùng: Có bản chép là trinh tùng 貞松.

Bài 4: Gửi Tĩnh-giới Thiền sư (ở núi Bí-linh thuộc Nghệ-an)

Lâu nay trong nhiều tài liệu viết về thơ văn của Đoàn Văn Khâm thường cho biết có 3 bài: "Tặng Quảng Trí Thiền sư", "Vãn Quảng Trí Thiền sư", "Truy điệu Chân Không Thiền sư" bằng chữ Hán chép trong "Hoàng Việt thi tuyển" do Bùi Huy Bích sưu tập cho thấy Đoàn Văn Khâm rất hâm mộ những vị tu hành, nhưng bản thân không lên núi ở ẩn chỉ vì "chót bị cái dây cân đai buộc chặt vào hàng ngũ chim cò" (hàng ngũ quan lại).

Trong sách Kiến văn tiểu lục của Lê Quý Đôn[1] có chép một bài thơ nữa của cụ Đoàn Văn Khâm:[2]

Thu lai lương khí sảng hung khâm,Bát đẩu(*) tài cao đối nguyệt ngâm.Kham tiếu thiền gia si độn khách,Vị tương hà ngữ dĩ truyền tâm?

Tạm dịch:

Thu về thoảng mát lòng ai,Trông trăng ngâm vịnh trổ tài thiên nhiên.Dám cười si độn khách thiền,Lấy gì tâm ấn để truyền cho nhau?

- Chú thích:

(*) Bát đẩu nghĩa là tám đấu: Tạ Linh Vận nói: Tất cả tài hoa trong thiên hạ có một thạch (mười đấu) mà riêng Tào Tử-kiến (tức Tào Thực, con Tào Tháo) chiếm được tám đấu. Sau thi gia thường dùng danh từ "bát đẩu" để nói về người tài hoa.